Bảo tàng phải đối diện với đài tưởng niệm kỷ niệm cuộc nổi dậy Warsaw Ghetto năm 1943. Người chiến thắng trong cuộc thi kiến trúc là Rainer Mahlamäki, của studio kiến trúc 'Lahdelma & Mahlamäki Oy ở Helsinki, người có thiết kế được chọn từ 100 bài dự thi cuộc thi kiến trúc quốc tế. Công ty Kuryłowicz & Associates của Ba Lan chịu trách nhiệm xây dựng. Kiến trúc bên ngoài tối giản của tòa nhà được ốp bằng vây kính và lưới đồng. Lụa được chắn trên kính là chữ Polin, bằng chữ Latinh và tiếng Do Thái.

Chữ cái tiếng Do Thái và tiếng Latin của từ Polin

Các nét đặc trưng của trung tâm của tòa nhà là lối vào đại sảnh của nó có hình dạng như những cái hang. Sảnh chính tạo thành một bức tường cao, nhấp nhô. Không gian trống là biểu tượng của những vết nứt trong lịch sử của người Do Thái Ba Lan. Có hình dạng tương tự như hẻm núi, có thể là một tham chiếu đến việc vượt qua Biển Đỏ được biết đến từ Exodus. Bảo tàng rộng gần 13.000 m2 không gian có thể sử dụng. Ở tầng thấp nhất, dưới tầng hầm của tòa nhà sẽ được đặt một triển lãm chính về lịch sử của người Do Thái từ thời trung cổ đến thời hiện đại. Tòa nhà bảo tàng cũng có một khán phòng đa năng với 480 chỗ ngồi, phòng triển lãm tạm thời, trung tâm giáo dục, trung tâm thông tin, phòng chơi cho trẻ em, quán cà phê, cửa hàng, và trong nhà hàng cho người ăn kiêng tương lai.

Vì bảo tàng giới thiệu toàn bộ lịch sử của người Do Thái ở Ba Lan, không chỉ thời kỳ chiếm đóng của Đức, nhà thiết kế muốn tránh sự tương đồng với các bảo tàng Holocaust hiện tại (như Bảo tàng Do Thái ở Berlin và bảo tàng tại Yad Vashem) có cấu trúc bê tông khắc khổ. Các kiến trúc sư giữ cho bảo tàng có màu cát, mang lại cảm giác dễ tiếp cận hơn.[15]

Sảnh chínhTái thiết mái nhà giáo đường GwoździecXây dựng lại vòm và bimah trong Bảo tàng Lịch sử của người Do Thái Ba LanBộ sưu tập "Trên đường Do Thái" với lối vào phòng triển lãmMezuzah truyền thống ở lối vàoĐối diện với Bảo tàng, là Đài tưởng niệm các anh hùng Ghetto

Năm 2008, thiết kế của bảo tàng đã được trao Giải thưởng Kiến trúc Quốc tế Chicago Athenaeum.[16] Năm 2014, nhà thiết kế Rainer Mahlamäki đã được trao Giải thưởng Kiến trúc Phần Lan cho thiết kế bảo tàng của ông.[17]